Khởi nguyên từ họ Khương, là hậu đại của họ Liệt Sơn (烈山 hoặc 列山). Theo "Phong tục thông" ghi lại: "Sơn thị, là thời cổ đại Liệt Sơn thị hậu đại"; tương truyền thời thượng cổ, Viêm Đế là thủ lĩnh của bộ tộc họ Khương, là do Thiếu Điển cưới con gái Kiểu Thị sinh ra, vốn sống ở lưu vực Khương, sau phát triển sang hướng đông đến vùng Trung Nguyên. Viêm Đế sinh ra ở Liệt Sơn, lấy hào là Liệt Sơn thị. Con cháu Viêm Đế sau có người liền dùng chữ "Sơn" làm họ.

Lấy quan làm họ. Theo "Danh hiền thị tộc ngôn hành loại cảo" viết, đời Chu có núi ắt có quan, chưởng quản núi rừng, con cháu lấy quan làm họ. Thời Chu quan viên quản lý núi rừng gọi là "Sơn sư", cũng gọi là "Sơn ngu". Có người thế tập Sơn sư, con cháu liền lấy họ Sơn, xưng là Sơn thị.

Lấy tên tổ tiên làm họ. Thời Xuân Thu, nước Sở có một viên quan lớn gọi là Thúc Sơn Nhiễm, con cháu người này lấy hai chữ "Sơn Nhiễm" làm họ, đời đời tương truyền.

Đổi họ. Theo "Ngụy thư - Quan thị chí" ghi lại, thời cổ có họ kép là Thổ Nan, đến thời Bắc Ngụy thì đổi thành họ Sơn.

Họ Sơn của dân tộc Hồi, lần đầu xuất hiện là ở triều Nguyên, viên quan tổng quản lộ Tấn Ninh là Sơn Tăng, có tổ tiên là Khang Lý. Hiện nay người Hồi họ Sơn chủ yếu phân bố tại Hà Nam, Ninh Hạ.